Quê gốc của ông ở Thường Tín, nhưng sau đó ông về Thái Nguyên cùng mẹ. Ông là con một trong một gia đình theo Cách mạng. Cha là Nguyễn Ngọc Phòng (ông Tư), từng bị thực dân Pháp đày đi Côn Đảo khi ông Khánh mới một tuổi. Ông lớn lên trong sự dạy dỗ, nuôi nấng của mẹ, bà Tư. Vợ ông là bà Lưu Khánh Mỹ. Ông có ba người con trai là: Nguyễn Công Thành, Nguyễn Chí Công và Nguyễn Anh Tuấn.